Năm 496 TCN, Hạp Lư bị quân Việt đánh bị thương ở Huề Lý, không lâu sau thì chết. Con là Phù Sai lên nối ngôi.[7][11]

Phù Sai phong cho Bá Hi làm thái tể. Năm 494 TCN, Phù Sai đem quân đánh nước Việt, đánh bại quân Việt ở đất Phù Tiêu.[12] Đại thần nước Việt là Văn Chủng đem lễ vật đến xin Phù Sai cho giảng hòa. Ngũ Viên can ngăn không nên nhưng Phù Sai không nghe.

Năm 489 TCN, nhân Tề Cảnh công mới mất, Phù Sai định đem quân đánh nước Tề.[7] Ngũ Viên khuyên Phù Sai nên đánh nước Việt trước vì Việt là cái bệnh trong gan trong ruột. Phù Sai không nghe, đem quân lên phía Bắc đánh Tề.[13]

Năm 485 TCN, Phù Sai một lần nữa đánh Tề, Ngũ Viên lại khuyên can. Phù Sai tức giận, sai ông đi sứ sang Tề. Ngũ Tử Tư đoán được sau khi về nước cũng sẽ bị giết, bèn đem con gửi cho đại phu Bão Mục nước Tề, rồi trở về. Sau khi ông về Ngô, thái tể Bá Hi gièm pha, khuyên Phù Sai giết ông. Phù Sai bèn đưa thanh kiếm Trúc Lân cho Ngũ Viên, ép tự tử. Ngũ Viên trước khi chết tin chắc Việt sẽ diệt Ngô, bèn bảo rằng:

"Thế nào cũng phải trồng trên mộ ta một cây tử đề có thể làm quan tài. Hãy móc mắt ta treo trên cửa phía đông của nước Ngô để cho nó thấy giặc Việt vào tiêu diệt nước Ngô."

Rồi tự tử. Phù Sai biết được lời nói của ông, bèn đem thây ông nhét vào túi da ngựa, thả trôi trên sông Giang. Người nước Ngô thương Ngũ Tử Tư lập đền thờ trên sông Giang, nhân gọi nó là Tư Sơn.[3]

Hơn 10 năm sau khi Ngũ Viên qua đời (473 TCN), đúng như lời tiên đoán của ông, Việt Câu Tiễn đem quân tiêu diệt nước Ngô.

Sau đó, người con của thái tử Kiến là Thắng được Ngũ Viên đưa sang Ngô được triệu về nước Sở, làm loạn chiếm ngôi và bị giết.